CASI：基于集合干预的 Agentic 检索信用分配
🧭 LLM 多 query 联合生成与信用分配 ★ 深度解读
Xiaohongshu Inc.
用快照集合干预构造反事实子集价值，Shapley 聚合加有界零和优势整形，实现多检索动作的上下文相关信用分配，线上广告主价值提升 3.51%
📌 工作参考价值（4 点）
- 在多 query/多策略并行召回或 rewrite 场景，不要直接 broadcast set-level reward；可复用「一次生成+一次检索，缓存各 action 结果，只改 coalition 组合，用冻结 evaluator 批量打分」的做法，不增加线上生成/检索成本。
- m≥4 时 singleton、leave-one-out、full-set 不能唯一确定 Shapley 分配；业务里如果 action 数≥4，仅按单 action 或 leave-one-out 赋 reward 会丢中间 coalition 信息。additive 价值下三者等价，所以先判断是否真的需要中间 coalition 查询。
- 有界零和 advantage shaping 值得直接抄：对 credit 先 within-rollout center，再用 group-level 共享 scale 归一化，最后投影到 sum=0、∞≤κ 的 box；避免独立 clip 破坏零和导致 advantage 漂移。token 级 implementation 把 action 内 token 赋 action advantage，shared token 保持 base。
- 训练用 surrogate evaluator 替代线上 auction replay：m=5 时 31 个 coalition 打分不是 31 次 auction replay；但上线前必须审计训练 evaluator 与 replay/production 的 size-resolved sign agreement，否则 CASI 可能不优于 Singleton。
CARM：面向 LLM 强化学习的抵消感知响应掩码
🧭 LLM RL 离策略响应掩码 ★ 深度解读
Moore Threads AI
用绝对 log-ratio 均值替代带符号 geometric mean，防止双向策略漂移相互抵消，提升 GRPO 训练稳定性与推理/代码效果
📌 工作参考价值（4 点）
- 在做 LLM 推荐/Agent reasoner 的 GRPO/PPO 训练时，可直接把现有 GeoMean 离策略 mask 换成 CARM：只改聚合方式为 mean absolute log-ratio，复用 rollout logprobs，工程成本低，且不改变 token 级 surrogate。
- 阈值可直接当策略漂移监控：对 token ratio band [0.8,1.28]，tau=1.02 意味着最多约 8.88% token 越界；tau=1.04 约 17.58%。可据此设置离线训练过滤阈值和预警线。
- 不要只 mask negative-advantage 样本：CARM 消融显示标准全量 mask 在数学和代码任务上都明显好于 negative-only；正 advantage 样本同样可能离策略，推荐/Agent 任务中奖励稀疏时更建议全量掩码。
- 过滤比例不是越高越好：accuracy 与 masked fraction 非单调，调试时不要只盯 mask rate，应结合验证集准确率、保留样本质量或 best-of-k 一致性来调 tau。
重新思考 PPO 中的 Critic 学习：理解并缓解价值平坦化
🧭 PPO critic 稀疏监督优化 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · Westlake University · Nanjing University · Tsinghua University
发现 PPO critic 的价值平坦化失效模式，提出仅对少数间隔状态施加 critic loss 的 SP3O，提升推理策略与训练稳定性
📌 工作参考价值（4 点）
- 若用 PPO/RLAIF 优化多轮对话、Agent 或推荐策略且奖励常是 terminal（转化/完成/点击），可把 critic loss 从逐 token 改成只对 3-5 个间隔位置（如 30%/60%/90% 加尾部）监督；实现只是 loss mask 改动，通常不增加 rollouts，但能改善 token 级 credit assignment。
- 建立 critic 价值分辨率诊断：对中间状态采样多条 continuation 估计 MC value，对比 critic 预测的响应内变化幅度；若 critic 变化远小于 MC，即存在 flattening，从而避免只看 response-level AUC 或 loss。
- 对长序列训练，关注相邻状态表征/梯度冗余：密集监督会产生大量相似更新，稀疏锚点能提升 critic 表征 effective rank、降低 actor 更新震荡，可结合训练稳定性指标上线验证。
- 如果业务里使用 PPO 并观察到训练不稳或 critic 无法区分过程好坏，不妨尝试 sparse critic supervision；论文还提示 tail anchor 对减少重复输出有额外收益，可在长文本生成任务中单独试验。
预测散度掩码：LLM 强化学习的信任域方向优化
🧭 LLM 强化学习 · 信任域方向准则
Tencent Hunyuan · UIUC · NUS
提出预测散度掩码替代 PPO 比率方向测试，用散度变化预测决定是否屏蔽 token
📌 工作参考价值（4 点）
- 在推荐/Agent 的 RL 策略训练中，PPO 原有的 ratio 方向屏蔽可能导致错误保留会使散度增大的更新，改用散度方向预测可提升离线更新的稳定性与效率。
- 当策略输出为 top-K 候选时（如推荐列表生成、对话动作筛选），论文的两种轻量级 top-K 估计器可直接嵌入，无需完整分布即可计算散度变化方向。
- 预测散度掩码的闭式解计算开销低，适合大规模线上 RL 训练时的 token 级动态屏蔽，降低训练-推理分布漂移风险。
- 该方法对模型规模与精度设置鲁棒，可以无缝集成到现有 PPO/DPPO 训练框架中，改善 reward hacking 并提升最终策略质量。
LLM 强化学习的真实目标：面向推理策略的单调改进
🧭 LLM RL 训练-推理对齐 ★ 深度解读
Tianjin University · Alibaba
提出 MIPI 原则与两步框架 MIPU，在训练-推理不匹配下直接优化推理策略，实现稳定高效 RL 训练
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的 LLM 后训练中，训练引擎与推理引擎不一致（如量化部署）会导致训练策略改善 ≠ 推理策略改善，MIPU 的两步机制（采样器参考更新 + 推理间隙验收）可直接嵌入 GRPO 流程，提升稳定性
- Step 1 的 TIS 式截断重要性权重可替代标准 GRPO 裁剪，分离历史不匹配与当前更新，降低梯度方差，适用于任何基于采样优势的 RL 微调场景
- Step 2 使用验证集上的后更新间隙代理 bTpost 作为接受/回滚信号，可在线上 AB 测试前筛选有害的同步模型，避免部署退化模型，尤其适合 Agent 系统中的多步决策或量化推理
- 动态接受阈值策略（起步宽、逐渐收紧）平衡早期探索与后期保护，在推荐模型持续学习时值得借鉴，防止过早收敛或训练宕机
重新思考LLM强化学习中的散度正则化
🧭 LLM 强化学习训练·信任域正则化 ★ 深度解读
Tencent Hunyuan · UIUC · NUS
提出DRPO，用连续二次正则化替代硬掩码，实现基于Binary-TV散度的平滑信任域，提升LLM RL训练的稳定性与效率
📌 工作参考价值（4 点）
- 信任域设计应从比例转向绝对概率偏移：在长尾词表的LLM策略优化中，重要性比率 (ratio) 不能准确反映分布变化。DRPO 通过 Binary-TV 散度（|π-μ|）定义信任域，对高频token更严格、对低频token更宽松，避免 PPO 对稀有token的过度惩罚，适合电商推荐中大量长尾item的生成式建模。
- 用平滑正则代替硬掩码，提供连续纠正信号：DPPO 的硬掩码在边界处梯度突变且无纠正。DRPO 的二次正则项产生有界、连续的梯度权重，边界内逐步衰减更新，边界外反向修正。这种设计可迁移到多智体训练、推荐模型RL微调等需要稳定策略更新的场景。
- 正则项必须与优势绝对值 (|A|) 挂钩：DRPO 通过 |A| 加权正则项，使信任域边界独立于奖励尺度，避免小优势token过纠、大优势token欠纠。在多轮对话Agent或推荐系统中，奖励信号常带噪声，该设计能增强训练鲁棒性。
- 低精度 (如FP8) 训练场景下更稳健：由于训练-推理数值不匹配加剧off-policy程度，DRPO 的 bounded gradient 在 FP8 E2E 设置下仍保持稳定，而 ratio-based 方法（GRPO/SPO）易崩溃。对于需要降低成本的大规模工业训练（如电商LLM部署）具备直接工程价值。